Yamashita sinh tại Funabashi, Chiba. Cha mẹ anh ly dị khi anh còn rất nhỏ và anh cùng người em gái của mình lớn lên chủ yếu nhờ sự chăm sóc của người mẹ.[5][6] Anh chuyển đến Tokyo khi đang học trung học.

Yamashita tốt nghiệp từ cuộc thi trình diễn nghệ thuật Horikoshi Gakuen dành cho học sinh trung học vào năm 2004. Tại Horikoshi, anh ở cùng phòng với một số người nổi tiếng như Tanaka Koki, và Koike Teppei, cùng với Shirota Yuu, người sau này trở thành người bạn thân nhất của anh. Sau khi tốt nghiệp trung học, anh được nhận vào khoa thương mại trường Đại học Meji. Anh tốt nghiệp với tấm bằng tiếp thị.[3]